出品 | AI科技大本营（ID:rgznai100）根据维基百科，同行评议（peer review)，是指由一个或多个具有与作品生产者具有相似能力的人员（同行）对作品进行的评估活动。同行评审方法用于维持质量标准以及提供信誉背书。在学术界，学术同行评审通常用于确定学术论文是否适合发表。计算机领域的顶尖会议评选论文前，一般都有同行评议人员进行评分筛选。不过，随着顶会论文的数量不断增多，同行评议制度的弊端也在显现。截止 9 月 25 日，ICLR 2020 大会共收到近 2600 篇投稿，相比 ICLR 2019 的 1580 篇论文投稿，今年增幅约为 62.5%。近日，英伟达机器学习研究负责人 Animashree Anandkumar 在推特上向 ICLR 2020 的同行评议审稿人开炮。她称，每个即将到来的 AI 会议的同行评议质量都在变差。我们的 #ICLR 2020 审稿人的评分有极大的差距（8 分和 1 分），评分较低的审稿人太令人讨厌和痛心了。这就像他们在参加战斗并想要破坏竞争一样。这不健康，还有哪些替代选择吗？对同行评议抨击后，Animashree 发布了数条评论：“我严重关切向那些AI 会议投稿的年轻人的情绪健康，（同行评议）对他们有巨大的影响。我们没有花足够的时间关注它（论文）。我考虑过只发表（论文）到@arXiv_Daily上，让社区决定论文是否对研究者有用。”她告诫学生和向#ICLR2020投稿的作者不要在意审稿人意见，如果你相信自己的研究，就必须继续为此而奋斗，并尝试接纳具有建设性的评审建议，但不要让审稿人决定你的自我价值。她对不专业的审稿人感到愤懑，并抨击了入选同行评议审稿人的标准。“ICLR2020 的同行评议中对专家的自我评估是很奇怪的。无知的人声称自己是专家(通常来自特权阶层)，而谦逊的人不想这样做。我看到的是AC，教授把自己的排名放在中间，而本科生却把自己排在专家的位置。”由于每个审稿人的关注点不同，给出的分数也会不同，但顶会论文中评分差距较大的论文也并不少，面对 Animashree Anandkumar 对同行评议审稿人的控诉，杜克大学陈怡然教授也分享了自己的投稿经历：“我已明确告诉我的学生，以后solid，deep的工作，post到arxiv，主要发期刊。conference方便试一次就好，中不中无关紧要。就把conference当成科研写作的基本训练，入门要求。照目前发展趋势，所有所谓顶会的文章，尤其是AI 领域，很快会被当成混饭吃的玩意儿。至少真正做学问的地方和人不会再看重。当然，也奉劝那些真想做学问的，别老想去凑什么热闹，自取其辱。”随后，@南大周志华教授在微博上发了推特截图：“某高层群传来的信息，ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文 。。。投稿量远远大于合格审稿人群所能（超负荷）承受的程度，会使得顶会逐个垮塌。。。或许最终只好回到期刊去了”尽管同行评议制度有其缺陷，但目前来看它依然是论文评审的重要选择，关键在于如何让该制度变得不水，更具公信力？有学者称，解决此问题的一种方法是对审稿人进行评分（通过论文作者、其他审稿人和区域主席），并公开这一评分数据，这将完全提高审稿人的积极性，也为区域主席提供根据情况进行审稿的工具。Animashree Anandkumar 回应称，“我们应该要求审稿人负责。如果我们允许作者进行评分，则给分较高的审稿人将会获得更高的评分，而不是哪些给出客观评分的审稿人。那能仅限给出 AC（accepted） 的审稿人和其他审稿人吗？我试图找出不道德的审稿人，但这并不容易。”清华大学刘知远教授认为，open review（公开评审）机制一定程度可以纠正错误或不专业的审稿意见。不过，周志华教授也指出，open review 仅当参与者都是相当级别的专家才有效，否则更容易被误导。“学术判断不能“讲平等”，一般从业者与高水平专家的见识和判断力不可同日而语，顶会能“顶”正是因为有高水平专家把关，但现在已不可能了。”值得一提的是，由于 ICLR 2020 大会今年取消了模棱两可的分数，只有reject(1), weak reject(3), weak accept(6), 和 accept(8) 这四个档，这导致今年的平均分低于往年。当然也不乏高分论文，推特网友@ankesh_anand整理了 ICLR 2020 评分最高的 11 篇论文，它们的分数全部都是 8 分：1、BackPACK: Packing more into Backprophttps://openreview.net/pdf?id=BJlrF24twBCode: https://toiaydcdyywlhzvlob.github.io/backpack/2、FreeLB: Enhanced Adversarial Training for Language Understandinghttps://openreview.net/pdf?id=HkxlcnVFwB3、GenDICE: Generalized Offline Estimation of Stationaryhttps://openreview.net/pdf?id=Hkxvl0EtDH4、A Causal View on Robustness of Neural Networkshttps://openreview.net/pdf?id=HylsTT4FvB5、A Theory of Usable Information under Computational Constraintshttps://openreview.net/pdf?id=r1eBeyHFDH6、CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoninghttps://openreview.net/pdf?id=HJgzt2VKPB7、Dynamics-Aware Unsupervised Skill Discoveryhttps://openreview.net/forum?id=HJgLZR4KvH8、Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theoremhttps://openreview.net/forum?id=BJe55gBtvH9、Recurrent Hierarchical Topic-Guided Neural Language Modelshttps://openreview.net/pdf?id=Byl1W1rtvHCode: https://drop.me/BbR8pr10、On the "steerability" of generative adversarial networkshttps://openreview.net/pdf?id=HylsTT4FvB11、Smooth markets: A basic mechanism for organizing gradient-based learnershttps://openreview.net/pdf?id=B1xMEerYvB（*本文为AI科技大本营原创文章，转载请微信联系 1092722531）
2019 中国大数据技术大会（BDTC）再度来袭！豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。6.6 折票限时特惠（立减1400元），学生票仅 599 元！
推荐阅读